Phaolô Nguyễn Văn Bình sinh ngày 1 tháng 9 năm 1910 tại Bệnh viện Chợ Rẫy, Sài Gòn, là người con thứ năm trong một gia đình gồm có bảy anh chị em. Nguyễn Văn Bình là con ông Phanxicô Xaviê Nguyễn Văn Trượng (mất năm 1939) và bà Anê Nguyễn Thị Luông (mất năm 1925). Thân phụ ông là một ông Biện[gc 1] của giáo họ Tân Định, đồng thời cũng là một giáo dân nhiệt thành làm việc tại nhà in Tân Định. Ngoài Nguyễn Văn Bình và người em gái liền kề sống đến tuổi trưởng thành, các anh em còn lại của gia đình đều qua đời từ thuở ấu thơ. Em gái ông, nữ tu Magarita Nguyễn Thị Sanh, từng đảm trách vai trò Tổng phụ trách Hội dòng Mến Thánh Giá Chợ Quán.[14] Một số nguồn tin khác cho rằng Nguyễn Văn Bình sinh tại Lương Hòa, Long An.[15]

Năm 1922, gia đình cho cậu Nguyễn Văn Bình nhập học tại Tiểu chủng viện Sài Gòn, tại đây, cậu gặp người bạn tri kỷ là Giacôbê Nguyễn Văn Mầu.[14] Sau khi hoàn thành chương trình Tiểu chủng viện,[14] mười năm sau đó, Giám mục Dumortier gửi chủng sinh Bình du học Roma theo học trường Truyền giáo.[16] Trong khoảng thời gian du học này, chủng sinh Nguyễn Văn Bình cũng có dịp tham gia lễ tấn phong của Giám mục người Việt Nam đầu tiên là Gioan Baotixita Nguyễn Bá Tòng vào ngày 11 tháng 6 năm 1933 và gặp trực tiếp giám mục này để xin ban phép lành.[17]